评估模型性能的基准在机器学习中起重要作用。但是,没有确定的方法来描述和创建新的基准。此外,最常见的基准测试采用了具有多个限制的性能指标。例如,两个模型的性能差异没有概率的解释,没有参考点可以指示它们是否代表了显着的改进,并且比较数据集之间的此类差异是没有意义的。我们介绍了一种名为基于ELO的预测能力(EPP)的新的元评分评估,该评估构建在其他性能指标之上,并允许对模型进行可解释的比较。 EPP分数的差异具有概率的解释,可以直接比较数据集之间,此外,基于逻辑回归的设计允许根据偏差统计数据评估排名适应性。我们证明了EPP的数学属性,并通过30个分类数据集的大规模基准和视觉数据的现实基准测试的经验结果支持它们。此外,我们提出了一个统一的基准本体,用于对基准进行统一的描述。
translated by 谷歌翻译